from datasets import load_dataset, load_from_disk  # 导入 Hugging Face 的 `datasets` 库，用于加载和处理数据集

# 在线加载数据
# dataset = load_dataset(path="NousResearch/hermes-function-calling-v1", split="train")
# 使用 `load_dataset` 函数在线加载指定路径的数据集，并指定分割为训练集（split="train"）
# print(dataset)
# 打印加载的数据集信息，查看数据集的内容和结构

# 转存为 CSV 格式
# dataset.to_csv(path_or_buf=r"D:\SentimentBERT\data\hermes-function-calling-v1.csv")
# 将加载的数据集保存为 CSV 文件，便于离线使用或分析

# 加载 CSV 格式数据
# dataset = load_dataset(path="csv", data_files=r"D:\SentimentBERT\data\hermes-function-calling-v1.csv")
# 使用 `load_dataset` 函数加载本地 CSV 文件格式的数据集
# print(dataset)
# 打印加载的 CSV 数据集信息，确认数据加载是否成功

# 加载缓存数据
dataset = load_from_disk(r"D:\SentimentBERT\data\ChnSentiCorp")
# 使用 `load_from_disk` 函数加载已经缓存到本地的数据集（通常是通过 `dataset.save_to_disk` 保存的）
print(dataset)
# 打印加载的缓存数据集信息，查看数据集的内容和结构

test_data = dataset["train"]
# 从数据集中提取训练集部分（假设数据集包含 "train" 分割）

for data in test_data:
    # 遍历训练集中的每一条数据
    print(data)
  # 打印每条数据的内容
    # 逻辑的实现
    # 1.数据的加载，分为在线加载、CSV 文件加载、缓存加载
    # 2.数据提取与遍历，分为从数据集中提取特定分割，然后遍历并打印数据集中的每条数据，检查数据格式和内容